# coding:utf-8
from pyspark import SparkConf,SparkContext
import os
os.environ['JAVA_HOME'] = '/server/jdk'

if __name__ == '__main__':
    conf = SparkConf().setAppName('test').setAppName('local[*]')
    sc = SparkContext(conf = conf)

    rdd = sc.wholeTextFiles('../data/input/tiny_files')   #这个API适用于读取小文件很多的文件夹，也可以读取指定文件
    print(rdd.collect())
    # 利用map方法查看所有的键值对中的所有value
    print(rdd.map(lambda x:x[1]).collect())